[Python] Csv資料分割


Posted by mike-hsieh on 2023-12-21

如題,近期由於需要移轉一些資料,使用了Csv檔,但是整份新增會發生內存不足,所以需要分割。

import pandas as pd

# open file
df = pd.read_csv(r'D:\Projects\__Python\table_file_202312201350.csv', sep=',', index_col=False)

# 每個csv保存10萬筆
for i in range(0, len(df), 1000000):
    file_name = r'D:\Projects\__Python\table_file_' + str(i) + '.csv'  # 保存文件路徑以及文件名稱
    df[i:i+1000000].to_csv(file_name.format(i), index=False)

#pandas #Python #splite csv #seperate csv







Related Posts

跨越千年的對話:人們是如何從神明的庇佑走向人工智能的引導?

跨越千年的對話:人們是如何從神明的庇佑走向人工智能的引導?

1070. Product Sales Analysis III

1070. Product Sales Analysis III

AppWorks School Batch #16 Front-End Class 學習筆記&心得(駐點階段三:個人專案前準備~Dive into topics)

AppWorks School Batch #16 Front-End Class 學習筆記&心得(駐點階段三:個人專案前準備~Dive into topics)


Comments